Several problems in stochastic analysis are defined through their geometry, and preserving that geometric structure is essential to generating meaningful predictions. Nevertheless, how to design principled deep learning (DL) models capable of encoding these geometric structures remains largely unknown. We address this open problem by introducing a universal causal geometric DL framework in which the user specifies a suitable pair of geometries $\mathscr{X}$ and $\mathscr{Y}$ and our framework returns a DL model capable of causally approximating any ``regular'' map sending time series in $\mathscr{X}^{\mathbb{Z}}$ to time series in $\mathscr{Y}^{\mathbb{Z}}$ while respecting their forward flow of information throughout time. Suitable geometries on $\mathscr{Y}$ include various (adapted) Wasserstein spaces arising in optimal stopping problems, a variety of statistical manifolds describing the conditional distribution of continuous-time finite state Markov chains, and all Fr\'echet spaces admitting a Schauder basis, e.g. as in classical finance. Suitable, $\mathscr{X}$ are any compact subset of any Euclidean space. Our results all quantitatively express the number of parameters needed for our DL model to achieve a given approximation error as a function of the target map's regularity and the geometric structure both of $\mathscr{X}$ and of $\mathscr{Y}$. Even when omitting any temporal structure, our universal approximation theorems are the first guarantees that H\"older functions, defined between such $\mathscr{X}$ and $\mathscr{Y}$ can be approximated by DL models.
translated by 谷歌翻译
病理学家通过检查载玻片上的针头活检的组织来诊断和坡度前列腺癌。癌症的严重程度和转移风险取决于格里森等级,这是基于前列腺癌腺体的组织和形态的分数。为了进行诊断检查,病理学家首先将腺体定位在整个活检核心中,如果发现癌症 - 他们分配了Gleason等级。尽管严格的诊断标准,但这种耗时的过程仍会出现错误和明显的观察者间变异性。本文提出了一个自动化的工作流程,该工作流程遵循病理学家的\ textit {modus operandi},对整个幻灯片图像(WSI)的多尺度斑块进行隔离和分类。分别对基质和腺体边界; (2)分类器网络以高放大倍数将良性与癌症分离; (3)另一个分类器可以在低放大倍率下预测每个癌症的等级。总的来说,此过程为前列腺癌分级提供了一种特定于腺体的方法,我们将其与其他基于机器学习的分级方法进行比较。
translated by 谷歌翻译
当今的大多数计算机视觉管道都是围绕深神经网络构建的,卷积操作需要大部分一般的计算工作。与标准算法相比,Winograd卷积算法以更少的MAC计算卷积,当使用具有2x2尺寸瓷砖$ F_2 $的版本时,3x3卷积的操作计数为2.25倍。即使收益很大,Winograd算法具有较大的瓷砖尺寸,即$ f_4 $,在提高吞吐量和能源效率方面具有更大的潜力,因为它将所需的MAC降低了4倍。不幸的是,具有较大瓷砖尺寸的Winograd算法引入了数值问题,这些问题阻止了其在整数域特异性加速器上的使用和更高的计算开销,以在空间和Winograd域之间转换输入和输出数据。为了解锁Winograd $ F_4 $的全部潜力,我们提出了一种新颖的Tap-Wise量化方法,该方法克服了使用较大瓷砖的数值问题,从而实现了仅整数的推断。此外,我们介绍了以功率和区域效率的方式处理Winograd转换的自定义硬件单元,并展示了如何将此类自定义模块集成到工业级,可编程的DSA中。对大量最先进的计算机视觉基准进行了广泛的实验评估表明,Tap-Wise量化算法使量化的Winograd $ F_4 $网络几乎与FP32基线一样准确。 Winograd增强的DSA可实现高达1.85倍的能源效率,最高可用于最先进的细分和检测网络的端到端速度高达1.83倍。
translated by 谷歌翻译
神经算法推理的基石是解决算法任务的能力,尤其是以一种概括分布的方式。尽管近年来,该领域的方法学改进激增,但它们主要集中在建立专家模型上。专业模型能够学习仅执行一种算法或具有相同控制流骨干的算法的集合。相反,在这里,我们专注于构建通才神经算法学习者 - 单个图形神经网络处理器,能够学习执行各种算法,例如分类,搜索,动态编程,路径触发和几何学。我们利用CLRS基准来凭经验表明,就像在感知领域的最新成功一样,通才算法学习者可以通过“合并”知识来构建。也就是说,只要我们能够在单任务制度中学习很好地执行它们,就可以以多任务的方式有效地学习算法。在此激励的基础上,我们为CLR提供了一系列改进,对CLR的输入表示,培训制度和处理器体系结构,将平均单任务性能提高了20%以上。然后,我们进行了多任务学习者的彻底消融,以利用这些改进。我们的结果表明,一位通才学习者有效地结合了专家模型所捕获的知识。
translated by 谷歌翻译
本文介绍了AILAB-UDINE团队为SMM4H 22共享任务开发的模型。我们探索了基于变压器的模型在文本分类,实体提取和实体归一化,解决任务1、2、5、6和10的极限。使用集合学习时的不同体系结构,以及生成模型的巨大潜力,以实现术语归一化。
translated by 谷歌翻译
在过去的十年中,越来越多的用户开始在社交媒体平台,博客和健康论坛上报告不良药物事件(ADE)。鉴于大量报告,药物宣传的重点是使用自然语言处理(NLP)技术快速检查这些大量文本收集的方法,从而提到了与药物相关的不良反应对触发医学调查的提及。但是,尽管对任务和NLP的进步越来越兴趣,但面对语言现象(例如否定和猜测),这些模型的鲁棒性是一个公开的研究问题。否定和猜测是自然语言中普遍存在的现象,可以严重阻碍自动化系统区分文本中事实和非事实陈述的能力。在本文中,我们考虑了在社交媒体文本上进行ADE检测的四个最新系统。我们介绍了Snax,这是一种基准测试,以测试其性能,以对包含被否定和推测的ADE的样品进行样本,显示它们针对这些现象的脆弱性。然后,我们引入了两种可能提高这些模型的鲁棒性的可能策略,表明它们俩都带来了大幅提高性能,从而将模型预测的伪造实体数量降低了60%以否定为否定,而猜测为80%。
translated by 谷歌翻译
任何电子设备中包含的芯片都是通过圆形硅晶片制造的,这些芯片是通过不同生产阶段的检查机对其进行监控的。检查机检测并找到晶圆中的任何缺陷,并返回晶圆缺陷图(WDM),即,缺陷为lie的坐标列表,可以将其视为巨大,稀疏和二进制图像。在正常情况下,晶片表现出少量随机分布的缺陷,而以特定模式分组的缺陷可能表明生产线中的已知或新颖类别。不用说,半导体行业的主要关注点是确定这些模式并尽快进行干预以恢复正常的生产条件。在这里,我们将WDM监视作为开放式识别问题,以准确地将WDM分类为已知类别并迅速检测到新颖的模式。特别是,我们提出了一条基于Submanifold稀疏卷积网络的晶圆监测的综合管道,这是一种深层体系结构,旨在以任意分辨率处理稀疏数据,并在已知类别上进行了培训。为了检测新颖性,我们根据拟合在分类器潜在表示上的高斯混合模型定义了一个离群检测器。我们在WDM的真实数据集上进行的实验表明,Submanifold稀疏卷积直接处​​理全分辨率WDMS在已知类别上比传统的卷积神经网络产生了卓越的分类性能,这需要初步的封装以减少代表WDM的二元图像的大小。此外,我们的解决方案优于最先进的开放式识别解决方案,以检测新颖性。
translated by 谷歌翻译
我们提出了一种新型的半监督学习方法,用于分类组织病理学图像。我们采用贴片级注释以及新颖的共同训练损失的强大监督,以创建半监督的学习框架。共同培训依赖于多种有条件独立且充分的数据视图。我们使用颜色反卷积在病理图像中分离苏木精和曙红通道,从而创建每个幻灯片的两个视图,这些视图可以部分满足这些要求。两个单独的CNN用于将两个视图嵌入关节特征空间中。我们在此功能空间中使用对比的损失来实施共同训练。我们在清晰的细胞肾细胞和前列腺癌中评估了我们的方法,并证明了对最先进的半监督学习方法的改善。
translated by 谷歌翻译
子图GNNS是最近表达的图形神经网络(GNN)的一类,它们将图形图形为子图的集合。到目前为止,可能的子图GNN体系结构的设计空间及其基本理论属性仍然在很大程度上尚未探索。在本文中,我们研究了子图方法的最突出形式,该方法采用了基于节点的子图选择策略,例如自我网络或节点标记和删除。我们解决了两个中心问题:(1)这些方法的表达能力的上限是什么? (2)在这些子图集上传递层的模棱两可的消息家族是什么?我们回答这些问题的第一步是一种新颖的对称分析,该分析表明,建模基于节点的子图集的对称性需要比以前的作品中所采用的对称组明显小。然后,该分析用于建立子图GNN和不变图网络(IGNS)之间的联系。我们通过首先通过3-WL来界定子图方法的表达能力,然后提出一个通用子图方法的一般家族,以将所有先前基于节点的子图GNN泛化。最后,我们设计了一个新颖的子图Gnn称为Sun,从理论上讲,该子gnn统一了以前的体系结构,同时在多个基准上提供了更好的经验性能。
translated by 谷歌翻译
复杂的深层神经网络(例如胶囊网络(CAPSNET))以计算密集型操作为代价表现出较高的学习能力。为了使其在边缘设备上的部署,我们建议利用近似计算来设计诸如SoftMax和Squash等复杂操作的近似变体。在我们的实验中,与确切功能相比,我们评估了通过ASIC设计流实施的设计和量化capsnets的准确性的区域,功耗和关键路径延迟之间的权衡。
translated by 谷歌翻译